YDBOPS-12647: New inventory and some fixes #94

elabpro · 2025-10-10T06:40:04Z

Inventory as plugin (for future needs)
Fix for domain name in 2DC configuration
More checks
Move ydb as user/group names into variables for more flexibility.
Disable healthcheck for YDB 25.* (until HC will be fixed for 3-nodes-mirror-3-dc)
Clean up for variables (removed new variables for V2)

plugins/inventory/ydb_inventory.py

VadimZud · 2025-10-28T14:19:52Z

plugins/inventory/ydb_inventory.py

+
+                self.inventory.groups['ydb'].set_variable('ydb_config_dict', yaml_config)
+
+                if 'ydb_dbname' not in ydb_vars and 'ydb_dynnodes' in ydb_vars:


Кажется здесь плагин решает какую-то проблему определения дефолтов, которую inventory плагин не должен решать. Для этого у ansible есть другие механизмы. Особенно учитывая, что конфиг никак не используется для определения этих дефолтов

А вот здесь возникает интересная проблема:

inventory плагин анализирует config.yaml и, в частности, сопоставляет диски хостам

в inventory.yaml файле прописывается соответствие дисков label-ам

если плагин запускать до загрузки inventory.yaml, то у нас не будет распределения дисков с лейблами по хостам, либо надо делать еще один плагин, который будет срабатывать после парсинга инвентори, те надо будет 3 файла уже в каталоге inventory

можно расширить config.yaml и в него тогда внести описание дисковых лейблов, но это будет дополнительные поля, на которые будет ругаться парсер YDB, либо надо уходить от лейблов

лучше, на мой взгляд, оставить так как сейчас реализовано

изменено поведение

plugins/inventory/ydb_inventory.py

VadimZud · 2025-10-31T11:52:44Z

playbooks/format_cluster.yaml

      become: true
-      shell: dd if=/dev/zero of={{ item.name }} bs=1M count=100 status=none 
-      loop: "{{ ydb_disks }}"
+      shell: dd if=/dev/zero of={{ item.name | default(ydb_disks|selectattr('label','match',item.label)|map(attribute='name')|join()) }} bs=1M count=100 status=none 


Свалится с неочевидной для пользователя ошибкой, если в ydb_disks нет диска с лейблом ydb_drives[x].label.
Будет попытка запустить dd if=/dev/zero of= bs=1M count=100 status=none

Добавлена проверка дисков

VadimZud · 2025-10-31T11:54:44Z

playbooks/format_drives.yaml

      become: true
-      shell: dd if=/dev/zero of={{ item.name }} bs=1M count=100 status=none 
-      loop: "{{ ydb_disks }}"
+      shell: dd if=/dev/zero of={{ item.name | default(ydb_disks|selectattr('label','match',item.label)|map(attribute='name')|join()) }} bs=1M count=100 status=none 


Свалится с неочевидной для пользователя ошибкой, если в ydb_disks нет диска с лейблом ydb_drives[x].label.
Будет попытка запустить dd if=/dev/zero of= bs=1M count=100 status=none

Добавлена проверка дисков

VadimZud · 2025-10-31T11:55:51Z

filter_plugins/yaml_filters.py

+DOCUMENTATION = r'''
+    name: yaml_filters
+    plugin_type: filter
+    short_description: short desc


Эти описания-заглушки здесь ожидаемы?

VadimZud · 2025-10-31T12:03:20Z

plugins/inventory/ydb_inventory.py

+        self.inventory.add_group(group_name)
+        brokers = []
+
+        ydb_vars = self.inventory.groups[group_name].get_vars()


Идея была никак не полагаться на состояние переменных в момент вызова плагина.
Первая же идея, как такое сломается: пользователь разбирается в ansible и захочет определить для отдельного хоста или подмножествва хостов свои ydb_disks.
В этом плагине ты потеряешь эти настройки пользователя.
Что будет, если в момент вызова плагина еще не успели определиться какие-то переменные?

Изменено поведение плагина

VadimZud · 2025-10-31T12:03:43Z

plugins/inventory/ydb_inventory.py

+                drive_configs = {}
+                drive_labels = {}
+
+                if 'ydb_disks' in ydb_vars:


Идея была никак не полагаться на состояние переменных в момент вызова плагина.
Первая же идея, как такое сломается: пользователь разбирается в ansible и захочет определить для отдельного хоста или подмножествва хостов свои ydb_disks.
В этом плагине ты потеряешь эти настройки пользователя.
Что будет, если в момент вызова плагина еще не успела определиться ydb_disks?

Изменено поведение плагина

VadimZud · 2025-10-31T12:07:41Z

plugins/inventory/ydb_inventory.py

+                    for drive_config in yaml_config['host_configs']:
+                        drive_configs[drive_config['host_config_id']] = copy.deepcopy(drive_config['drive'])
+                        for i, item in enumerate(drive_config['drive']):
+                            label = item['path'].split('/')[-1]


Что делать, если пользователь инвентори не хочет пользоваться метками, а использовать другие механизмы обеспечения стабильных имен дисков? Что делать, если последний компонент пути диска не является лейблом?

Добавлена проверка дисков, которая учитывает эти моменты

VadimZud · 2025-10-31T12:43:33Z

plugins/inventory/ydb_inventory.py

+            env:
+              - name: INVENTORY_YDB_CONFIG
+        ydb_hostgroup_name:
+            description: The name of group of hosts (default name is 'ydb')


Нужно написать значение по умолчанию в отдельное поле default.
При этом, кажется, не придется определять его в коде, self.get_option('ydb_hostgroup_name') должен автоматически вернуть дефолт из документации, если пользователь не определил параметр (стоит перепроверить)

Доработано описание

elabpro · 2025-11-05T09:39:01Z

roles/ydbd_static/tasks/main.yaml

  ydb_platform.ydb.drive_prepare:
-    name: "{{ item['name'] }}"
+    name: "{{ item.name | default(ydb_disks|selectattr('label','match',item.label)|map(attribute='name')|join()) }}"
    label: "{{ item['label'] }}"


В этом месте пустое значение допустимо, так как модуль drive_prepare сделает проверку и вылетит с ошибкой, если такое встретит

Eugene Arbatsky added 13 commits September 25, 2025 14:56

More debug messages for workload

74e2b56

topic read test is useless here

055450a

+ AltLinux 10.4

9343804

Fix for custom domain name in v2 (YDBOPS-12926)

0991ee3

small fix for Ansible 2.19

ecb380b

+inventory plugin

dafeb53

checks

868c6ec

YDBOPS-12926 Fix user

ea80df2

YDBOPS-12647 Quotas

ce3850e

New version of collection

e541412

+variable for quotas

ffc94e9

variable for new db role

096982f

More errors in db creation

2b28cd8

elabpro requested a review from VadimZud October 10, 2025 06:40

Eugene Arbatsky added 7 commits October 10, 2025 09:43

Clean-up

81a917f

Fix HC for 25.*

cf278d9

Hack for HC

7792d30

Fix ydb_disks in inventory plugin

bb4549f

remove quotas, more imporoved inventory

21a1615

remove ydb_database_name

b5953ca

Remove new variables definitions

819f11f

elabpro changed the title ~~YDBOPS-12647: Database quotas~~ YDBOPS-12647: New inventory and some fixes Oct 13, 2025

Eugene Arbatsky added 8 commits October 13, 2025 13:58

+ docs

aa70c51

pool_kind in inventory

7b3214b

Clean up variables

be70f19

+docs

7122f41

+ydb_dbname from ydb_dynnodes

ad1af93

Configure brokers list in inventory

63af4ed

+docs

33ac1f2

+var in inventory

6093ea2

Eugene Arbatsky added 12 commits October 14, 2025 16:15

basicConfig fix

b6af6c1

Fix for update_config

aa7f6fe

Fix check version

75806ea

remove ydb_config_parsed

7a31240

Fix affinity

8bd7951

Fix for update V2 config

be39571

Adjust inventory for V1 config.yaml

f6d5245

+docs

820eca8

remove debug messages

e9d440a

docs

52d13a0

YDBOPS-12926: Fix for domain names in v2

89c804b

+ enforce_user_token_requirement in inventory

f343786

VadimZud requested changes Oct 28, 2025

View reviewed changes

Eugene Arbatsky added 5 commits October 30, 2025 12:41

Some corrections

3ecf236

Changing inventory plugin

161f4ee

refactoring inventory

939d44c

+ custom group names in inventory

79514d1

remove vars definions by default

61f93ab

VadimZud requested changes Oct 31, 2025

View reviewed changes

VadimZud reviewed Oct 31, 2025

View reviewed changes

Eugene Arbatsky and others added 5 commits November 1, 2025 17:38

Playbook for preparing a drive

d943d6a

YDBOPS-13208: Fix restart for dynnodes

5c6e0c1

Safe format

c2446f0

Safe format

b09b0a3

Safe format

e2815b5

elabpro commented Nov 5, 2025

View reviewed changes

elabpro added 2 commits November 5, 2025 12:44

Safe format + docs in inventory

31ebf16

Refactoring for drives

b4ed335

VadimZud approved these changes Nov 6, 2025

View reviewed changes

elabpro merged commit 4e70bf4 into ydb-platform:main Nov 6, 2025


		self.inventory.groups['ydb'].set_variable('ydb_config_dict', yaml_config)

		if 'ydb_dbname' not in ydb_vars and 'ydb_dynnodes' in ydb_vars:

YDBOPS-12647: New inventory and some fixes #94

YDBOPS-12647: New inventory and some fixes #94

Uh oh!

Conversation

elabpro commented Oct 10, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

VadimZud Oct 31, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

2 participants

elabpro commented Oct 10, 2025 •

edited

Loading

VadimZud Oct 31, 2025 •

edited

Loading